package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Demo12Filter {
  def main(args: Array[String]): Unit = {
    /**
     * filter 转换算子
     * 需要接收一个函数f（返回值类型需要是Boolean类型）
     * 根据最后的返回结果对数据进行过滤操作
     * true --> 保留数据
     * false --> 过滤数据
     */

    val conf: SparkConf = new SparkConf()
    conf.setAppName("Demo12Filter")
    conf.setMaster("local")

    val sc: SparkContext = new SparkContext(conf)
    val stuLineRDD: RDD[String] = sc.textFile("Spark/data/students.txt")

    // 过滤出年龄>23的学生
    stuLineRDD
      .filter(line => line.split(",")(2).toInt > 23)
      .foreach(println)



  }

}
